El palacio episcopal de Castres es una antigua residencia de obispos en la época en que Castres era sede de un obispado. Fue catalogado como monumento histórico desde el 18 de junio de 1927 y clasificado en parte desde septiembre de 1987.